Bài hát được nhận được đánh giá rất cao từ các nhà phê bình âm nhạc, với rất nhiều ý kiến đồng ý rằng đây là bài hát hay nhất album. Slant Magazine cho rằng đây là một trong những bài hát hay nhất trong sự nghiệp của Taylor Swift tính đến thời điểm lúc bấy giờ. The Prophet Blog cho rằng đây là bài hát khiến trình sáng tác nhạc của Taylor Swift tỏa sáng nhất. Billboard đã đưa ra một đánh giá tích cực cho bài hát, nhận xét rằng "All Too Well là một bản nhạc đồng quê tuyệt đẹp khi Swift kể lại câu chuyện "khiêu vũ trong ánh đèn tủ lạnh" với nỗi nhớ về một câu chuyện tình đẹp mà dường như đã bị vùi dập theo thời gian. Bài hát dường như hợp chủ đề với album "Speak Now" hơn, và thậm chí trùng khớp chủ đề với nhiều bài như "Mine", tuy nhiên ở album "Red" nó vẫn thể hiện được rằng, Swift vẫn đang thực sự làm chủ được sân chơi của mình." About.com tặng bài hát 4/5 sao.